iT邦幫忙

2023 iThome 鐵人賽

DAY 6
0
AI & Data

利用 Databricks 學習 ML/LLM 開發系列 第 6

Day06 - DataBricks Runtime ML 在 Community Edition (CE) 和 Subscription Edition (SE) 的差異

  • 分享至 

  • xImage
  •  

Databricks Runtime for Machine Learning (Databricks Runtime ML) 是一個已經包含了機器學習相關的套件的 Databricks Runtime。Databricks Runtime ML 的版本是對應到 Databricks Runtime 的版本。例如,Databricks Runtime 12.2 LTS for Machine Learning 是建立在 Databricks Runtime 12.2 LTS 之上。

使用 Databricks Runtime ML Cluster 好處是

  • 內建了常用的機器學習函式庫,例如 TensorFlow, PyTorch, Keras, and XGBoost。
  • 內建了分散式訓練函式庫,例如 Horovod。
  • 內建了相容的函式庫版本。
  • 預先設定好 GPU 支援,包含驅動程式與支援函式庫。
  • 建立 Cluster 時,速度較快。

而且還有原本 Databricks 的優勢

  • 資料探索、管理與治理。
  • Cluster 建立與管理。
  • 函式庫與環境管理。
  • Code 管理,包含 Databricks Repos。
  • 自動化支援,包含 Delta Live Tables, Databricks Jobs, 與 APIs。
  • 整合 MLflow,用來追蹤模型開發、模型部署與服務、與即時推論。

文字敘述完了,來看看 Community Edition (CE) 和 Subscription Edition (SE) 在這部份的差異吧。

可以看到 Community Edition (CE) 只有一個 Databricks Runtime ML 版本。

https://ithelp.ithome.com.tw/upload/images/20230921/20091643YkUW5JBGah.png

而 Subscription Edition (SE) 則有多個版本可以選擇,包含 GPU 支援。

https://ithelp.ithome.com.tw/upload/images/20230921/20091643BBGvBLMsRK.png

簡言之,Community Edition (CE) 就是提供個 Spark 環境可以用 Notebook 開發,但也僅只於此,其他功能像是 experienment、features、model、pipeline、workflow 等都要在 Subscription Edition (SE) 才有。之後會根據情形交互使用 CE/SE。

Reference: https://docs.databricks.com/en/runtime/mlruntime.html


上一篇
Day05 - 建立 Cluster 與 SQL Notebook 驗證 Cluster/Spark 環境
下一篇
Day07 - 一個利用 Databricks MLflow tracking 的範例
系列文
利用 Databricks 學習 ML/LLM 開發30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言